Recopilación y uso de datos masivos en sistemas de verificación de firma manuscrita dinámica

En este Trabajo Fin de Grado se genera una base de datos de firmas manuscritas on-line de una magnitud mayor a las existentes en el estado del arte y que recoge los escenarios de captura de firma on-line más utilizados en la actualidad, tales como el uso de diferentes dispositivos de captura y útiles de escritura. Dicha base de datos se ha formado a partir de la unificación de algunas de las bases de datos ás utilizadas en el ámbito de investigación. Ha sido necesario para ello realizar una etapa de preprocesado y organización de la memoria utilizando una nueva nomenclatura que permita su fácil uso en trabajos futuros. A su vez, se han estudiado, implementado y evaluado sistemas de reconocimiento biométrico de firma dinámica basados en Redes Neuronales Recurrentes (RRN). Como punto de partida, se ha realizado un estudio inicial del estado del arte en el ámbito de verificación de firma manuscrita on-line. Al mismo tiempo, se ha profundizado en las técnicas basadas en RNN y en su aplicación en firma manuscrita con arquitecturas siamesas y bidireccionales. Una vez entendido el estado del arte desde un punto de vista teórico, el siguiente paso ha consistido en definir y programar el diseño de la base de datos. Esta base de datos cuenta con un número de usuarios elevado con el que se pueden obtener unos resultados fiables. En ella se recogen varios escenarios como la multi-sesión, variabilidad del útil de escritura, diferentes dispositivos de captura, etc. Cada usuario tiene un número determinado de firmas genuinas y falsificaciones. La parte experimental se ha llevado a cabo en tres etapas. En primer lugar se ha evaluado el sistema propuesto basado en RNN utilizando la nueva base de datos BiDA MDI-Sign para el escenario de captura con el stylus, mejorando los resultados obtenidos en trabajos anteriores. En la segunda etapa se ha realizado un análisis de los resultados obtenidos por nuestro sistema propuesto en función de la complejidad de la rma. Por último, se ha estudiado el escenario de firma realizada con el dedo, siendo un estudio novedoso y de gran relevancia en los escenarios actuales. Finalmente, se presentan las conclusiones extraídas a lo largo de este trabajo, así como los posibles enfoques de trabajo futuro

Non-acted multi-view audio-visual dyadic Interactions. Project master thesis: multi-modal local and recurrent non-verbal emotion recognition in dyadic scenarios

Treballs finals del Màster de Fonaments de Ciència de Dades, Facultat de matemàtiques, Universitat de Barcelona, Any: 2019, Tutor: Sergio Escalera Guerrero i Cristina Palmero[en] In particular, this master thesis is focused on the development of baseline emotion recognition system in a dyadic environment using raw and handcraft audio features and cropped faces from the videos. This system is analyzed at frame and utterance level with and without temporal information. For this reason, an exhaustive study of the state-of-the-art on emotion recognition techniques has been conducted, paying particular attention on Deep Learning techniques for emotion recognition. While studying the state-of-the-art from the theoretical point of view, a dataset consisting of videos of sessions of dyadic interactions between individuals in different scenarios has been recorded. Different attributes were captured and labelled from these videos: body pose, hand pose, emotion, age, gender, etc. Once the architectures for emotion recognition have been trained with other dataset, a proof of concept is done with this new database in order to extract conclusions. In addition, this database can help future systems to achieve better results. A large number of experiments with audio and video are performed to create the emotion recognition system. The IEMOCAP database is used to perform the training and evaluation experiments of the emotion recognition system. Once the audio and video are trained separately with two different architectures, a fusion of both methods is done. In this work, the importance of preprocessing data (i.e. face detection, windows analysis length, handcrafted features, etc.) and choosing the correct parameters for the architectures (i.e. network depth, fusion, etc.) has been demonstrated and studied, while some experiments to study the influence of the temporal information are performed using some recurrent models for the spatiotemporal utterance level recognition of emotion. Finally, the conclusions drawn throughout this work are exposed, as well as the possible lines of future work including new systems for emotion recognition and the experiments with the database recorded in this work